Cô sinh ra ở Cape Town vào ngày 24 tháng 8 năm 1960, là con cả trong sáu người con của Cynthia, một công nhân nhà máy và Arthur Fraser, một giáo viên làm việc tại các trường chuyên ở Bán đảo Cape.

Fraser đã dành nhiều năm tuổi thơ của mình với bà ngoại, người sống trong cộng đồng Klipfontein nhỏ nằm cạnh trại chơi squat của Cape Town, Crossroads. Quan điểm về cuộc sống của cô được định hình bởi niềm tin của bà ngoại cô, vốn là một đoàn viên công đoàn tích cực.

Chính trị tác động hơn nữa đến cuộc sống gia đình của cô. Fraser lên tám tuổi khi chị gái của mẹ cô, có chồng hoạt động trong Phong trào đoàn kết ngoài châu Âu, rời khỏi đất nước để sống một cuộc sống lưu vong. Khi cô đạt đến Lớp chuẩn 8 Fraser đã phát triển nhận thức chính trị nhạy bén. Ở giai đoạn này, cô theo học trường trung học Livingstone.